TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces
TraceDance：从真实部署轨迹自动构建Agent行为基准
🧭 Agent行为基准自动构建
ByteDance Inc. · University of Illinois at Chicago
自动从真实Agent部署轨迹构建针对用户指定不良行为的基准，高效且评估与人类一致性高
📌 工作参考价值（4 点）
- 借鉴从部署日志构建评估集的方法：在电商搜索/推荐Agent中，可以记录真实会话轨迹，自动提取负面案例（如不相关推荐、违反政策回答），构建针对特定问题的回归测试集。
- Anchor-and-Confirm 高效构建流程：先通过规则、向量检索等可编程方法筛出候选，再用 Flash LLM（低成本）逐条确认，大幅降低人工标注成本，适合大数据量下的评估集生成。
- decision-point continuation 评估范式：无需完整环境重放，只需在关键决策点（如 LLM 生成下一轮推荐或回复）做续写评估，结合行为特定 rubric 自动打分，与人类一致性高，可用于线上模型行为的快速监控。
- 针对 LLM Agent 在推荐/搜索中的不良行为（如幻觉、违规话术），可以利用此框架自动生成定制化 benchmark，纳入模型上线前的回归测试和递归自我改进循环。